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1 INLEIDING 


M&l/Partners voert in opdracht van Programma Trekkingsrecht PGB van VWS een contra-expertise 
uit op het verstevigingsplan van het PGB-systeemlandschap bij SVB. In deze eerste deelrapportage 
beperken we ons tot de vraag of het huidige systeemlandschap een goede basis is voor de 
toekomst. 

1.1 SITUATIESCHETS 

De SVB heeft van het ministerie van VWS de opdracht gekregen om het informatiesysteem voor de 
uitvoering van het nieuwe trekkingsrecht PGB te realiseren en te beheren. De SVB voerde al de 
oude regeling van het PGB (loonadministratie voor de AWBZ) uit. In het kader van die opdracht 
heeft de SVB bestaande webportalen aangepast en een nieuw portaal ontwikkeld. Ook is het 
gebruikte backofficesysteem (Nestor) overgezet naar een nieuw technisch platform (de applicatie 
heet nu Treks). In 2015 zal de SVB nieuwe functionaliteiten realiseren. Verder is er een plan 
gemaakt voor de technische versteviging van het systeemlandschap. 

1.2 VRAAGSTELLING 

Het programma Trekkingsrecht PGB van het ministerie van VWS heeft M&l/Partners gevraagd om 
een contra-expertise uit te voeren op dit verstevigingsplan. De contra-expertise moet antwoord 
geven op de volgende vier onderzoeksvragen: 

1 Is het huidige systeemlandschap een goede basis voor de toekomst qua robuustheid, 
schaalbaarheid en flexibiliteit? 

2 Zijn de voorgestelde technische verstevigingen noodzakelijk en effectief? 
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3 Voldoet de doelarchitectuur, zoals beoogd in het verstevigingsplan, aan de vigerende 
architectuurkaders? 

4 Zijn de kosten van de versteviging onderbouwd en terecht? 

Op basis van de antwoorden wordt M&l/Partners gevraagd of het landschap verder vernieuwd/ 
verstevigd moet worden of dat zelfs nieuwbouw aan de orde is. Hiernaast heeft VWS aan 
M&l/Partners verzocht om alternatieven te adviseren waar dat mogelijk en nodig is. 

1.3 DOELSTELLING 

Dit document is een eerste deelrapportage van de contra-expertise. VWS heeft M&l/Partners 
verzocht om tussentijds een antwoord te formuleren op de eerste onderzoeksvraag, gericht op het 
huidige systeemlandschap. De reden hiervoor is dat er vragen zijn gesteld door de Tweede Kamer 
die raken aan deze onderzoeksvraag en die eerder beantwoord moeten worden dan de beoogde 
opleverdatum van de contra-expertise. De resterende vragen worden in een tweede 
deelrapportage en een integraal eindverslag beantwoord. 

1.4 STATUS 

Het voorliggende document betreft een definitieve eerste deelrapportage, waarin het 
reviewcommentaar van VWS en SVB is verwerkt. De rapportage is gebaseerd op een behoorlijk 
volledig feitenbeeld; alleen rond de DBS-pakketten (financiële applicaties) heeft M&l/Partners (te) 
weinig informatie gekregen. 

Na het definitief maken van deze eerste deelrapportage heeft M&l/Partners van SVB aanvullend 
materiaal ontvangen over het huidige systeemlandschap. Dit naar aanleiding van de review van 
SVB op de conceptversie van de eerste deelrapportage. Bijlage 1 - Verwerking nalevering beschrijft 
de aard van de aanvullend ontvangen informatie en de impact op de beantwoording van de eerste 
onderzoeksvraag. 

1.5 LEESWIJZER 

De opbouw van dit document is als volgt. 

■ In hoofdstuk 2 beschrijven de onderzoeksopzet, zoals hij bij de uitvoering van de contra- 
expertise is gehanteerd. 

■ In hoofdstuk 3 worden de onderzoeksvragen beantwoord middels een expertoordeel. 

■ In hoofdstuk 4 formuleren we onze conclusies. 

■ Hoofdstuk 5 bevat de resultaten van de analyses die we hebben uitgevoerd op het huidige PGB- 
systeemlandschap. 
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2 ONDERZOEKSOPZET 


In dit hoofdstuk geven we aan hoe de contra-expertise is opgezet en uitgevoerd. 

2.1 GEVOLGDE AANPAK 

De aanpak die is gevolgd tijdens de contra-expertise is gebaseerd op IS025040, zie onderstaande 
figuur. 



In het document 'procesbeschrijving' zijn de afzonderlijk stappen (in de vorm van gesprekken, 
interviews, sessies) en het materiaal (zoals documenten) waarop de contra-expertise is gebaseerd 
nader uitgewerkt. De aanpak bestaat uit de volgende fasen: 

Week 1 en 2 - vaststellen onderzoeksopzet 

In een eerste fase zijn de onderzoeksvragen uitgewerkt en afgestemd met VWS (zie het document 
'onderzoeksopzet'). Dit heeft geleid tot een lijst met ongeveer 35 onderzoeksvragen die de vier 
hoofdvragen nader detailleren. In een gezamenlijke kick off met VWS en SVB zijn afspraken 
gemaakt over te interviewen personen, beschikbaar te stellen documentatie en over terugkoppel¬ 
en reviewmomenten. Expliciet is afgesproken géén gespreksverslagen te maken ofte werken met 
vooropgezette vragenlijsten. 

Week 2 t/m 4 - opstellen feitenbeeld 

In deze fase zijn er ongeveer 15 interviews gehouden met betrokkenen bij SVB (zie het document 
'procesbeschrijving'). Daarnaast zijn er ongeveer 70 documenten en overzichten bestudeerd om 
observaties te staven op feitelijke juistheid. De bevindingen zijn vastgelegd in een rapport (zie het 
document 'bevindingenrapportage'), waarbij de bevindingen bij de afgesproken onderzoeksvragen 
zijn genoteerd. Halverwege deze fase kwam het verzoek van VWS tot een eerste deelrapportage. 
Gevolg hiervan is dat het feitenbeeld bij het schrijven van dit rapport nog incompleet was. 

Week 4 - waardering, expertbeoordeling (beperkt tot eerste deelrapportage) 

Op basis van het (onvolledige) feitenbeeld heeft M&l/Partners zich een oordeel gevormd over 
onderzoeksvraag 1: de vraag of het huidige systeemlandschap een goede basis voor de toekomst 
biedt. Ons expertoordeel hierover wordt in deze eerste deelrapportage geformuleerd. 

Week 4 - opstellen conclusies en advies (beperkt tot eerste deelrapportage) 

M&l/Partners formuleert conclusies en een advies ten aanzien van de technische kwaliteit van het 
huidige landschap. In dit rapport beperken we ons tot conclusies ten aanzien van het huidige 
systeemlandschap. 

In de weken hierna is de eerste deelrapportage gereviewd door alle betrokkenen en is het 
commentaar verwerkt. 
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2.2 EERSTE DEELRAPPORTAGE - VRAAGSTELLING 

Deze eerste deelrapportage richt zich op de technische kwaliteit van het huidige systeemlandschap 
op een drietal aspectgebieden: robuustheid, schaalbaarheid en flexibiliteit. In overleg met 
opdrachtgever VWS zijn de volgende onderzoeksvragen vastgesteld: 

1 Is het huidige systeemlandschap een goede basis voor de toekomst? 

1.1 Robuustheid: is het huidige systeemlandschap voldoende robuust om zonder grote 
verstoringen te kunnen functioneren? 

1.2 Schaalbaar: kan met het huidige systeemlandschap de verwachte groei worden 
ondervangen? 

1.3 Flexibiliteit: is het huidige systeemlandschap voldoende flexibel om de voorziene 
wijzigingen te kunnen realiseren? 

Bij de beoordeling is het systeemlandschap verdeeld in: 

- SSP-systemen. Dit zijn de systemen waarmee SSP dagelijks werkt. Dit omvat Nestor, Treks, 
documentmanagementsysteem en het financieel systeem DBS; 

- Portalen. Dit zijn de systemen waarmee de ketenpartners zoals budgethouders, gemeenten 
en zorgkantoren werken; 

- Batchverwerking. Dit zijn de batchprocedures die bijvoorbeeld zorgdragen voor de 
synchronisatie van gegevens tussen de verschillende systemen. 

In het document 'onderzoeksopzet' en in de bevindingenrapportage zijn deze onderzoeksvragen 
nog een slag dieper uitgewerkt. 

2.3 EERSTE DEELRAPPORTAGE - AFBAKENING 

De contra-expertise heeft een bredere scope dan het huidige systeemlandschap. De contra- 
expertise richt zich ook op het verstevigingsplan, de beoogde doelarchitectuur en de kosten van 
het plan. Daarover wordt later separaat gerapporteerd. 

Hiernaast is het van belang te benadrukken dat M&l/Partners geen onderzoek heeft gedaan naar 
de functionele kwaliteit ysn het systeemlandschap. M&l/Partners constateert dat betrokkenen uit 
de uitvoering (veel) mogelijkheden zien om het werkproces te optimaliseren, bijvoorbeeld door het 
beperken van de hoeveelheid handwerk en het wegnemen van de noodzaak tot overtikken en 
ander dubbel werk. Dit alles valt buiten de scope van het onderzoek van M&l/Partners en is niet 
meegenomen in het oordeel. 

Ook ten aanzien van de technische kwaliteit van het landschap formuleert M&l/Partners geen 
alomvattend oordeel: kwaliteitsaspecten zoals beveiligbaarheid, interoperabiliteit en de kwaliteit 
van de broncode van individuele systemen vallen buiten de scope van ons onderzoek. De eerste 
deelrapportage richt zich alleen op de robuustheid, schaalbaarheid en flexibiliteit van het huidige 
PGB-systeemlandschap. 
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BEANTWOORDING VAN DE 
ONDERZOEKSVRAGEN 


In dit hoofdstuk beantwoorden we de drie sub- onderzoeksvragen zoals gesteld in sectie 2.2. De 
hoofdvraag wordt in het volgende hoofdstuk beantwoord. 

3.1 ROBUUSTHEID (ONDERZOEKSVRAAG 1.1) 

De te beantwoorden onderzoeksvraag is: is het huidige systeemlandschap voldoende robuust om 
zonder grote verstoringen te kunnen functioneren? 

Ons antwoord op deze vraag is dat twee van de drie onderdelen uit het PGB-landschap niet 
voldoende robuust zijn: de SSP-systemen en de batchverwerking. Alleen de portalen zijn naar het 
oordeel van M&l/Partners voldoende robuust. Zie de samenvatting van ons oordeel in 
onderstaande tabel (gehanteerde normering: onvoldoende, twijfelachtig, voldoende): 


Onderdelen 

Robuustheid 

Opmerkingen 

SSP-systemen 

Twijfelachtig 

Er zijn diverse verstoringen geweest in de maanden januari, februari en 

maart. Dit ligt niet aan de nieuw ontwikkelde Treks-software, die draait na 

aanvankelijke kinderziektes relatief probleemloos. De oorzaak van de 

verstoringen ligt voor een groot deel in de infrastructuur (onderliggende 

hardware, systeemsoftware, opslag, netwerken etc.) en de invloed van de 

batchverwerkingen op de SSP-systemen. Ook zijn er diverse constructies 

aangetroffen die de kans op verstoringen verhogen. Het risico voor de 

SSP-operatie is relatief hoog. 

Portalen 

Voldoende 

Er is een beperkt aantal constructies aangetroffen die de kans op 

verstoringen verhogen; maar de daadwerkelijke beschikbaarheid lijkt op 

dit moment in orde. In ons oordeel wegen we mee dat de externe 

zichtbaarheid en impact van verstoringen in een portaal hoog is. 

Batchverwerking 

Onvoldoende 

De fouttolerantie is beperkt, niet alle batchverwerkingen kunnen omgaan 

met uitval van een record en problemen in individuele verwerkingen 

werken door in het samenstel aan batchverwerkingen. Dit leidt in de 

praktijk tot verstoringen. De impact is hoog door het ernstige effect op de 

andere deelsystemen (portalen en SSP-systemen). 


Hierbij maakt M&l/Partners de volgende kanttekeningen: 

■ Doordat er geen eisen zijn gesteld aan de robuustheid van het PGB-systeemcomplex kunnen we 
geen objectief antwoord geven op de onderzoeksvraag. 

■ Doordat er alleen fragmentarische informatie beschikbaar is over de daadwerkelijke 
robuustheid (geen stress-/duurtesten, bevindingenoverzichten bevatten weinig informatie over 
verstoringen, monitoringresultaten zijn grotendeels beperkt tot de portalen) heeft 
M&l/Partners zich deels moeten baseren op interviews; 
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■ De voorspelbaarheid van robuustheid is beperkt door het ontbreken van voldoende 

testfaciliteiten (regressietest, representatieve testomgeving^). Het effect van wijzigingen in het 
landschap op het gedrag is niet goed voorspelbaar. 


3.2 SCHAALBAARHEID (ONDERZOEKSVRAAG 1.2) 

De te beantwoorden onderzoeksvraag is: kan met het huidige systeemlandschap de verwachte 
groei worden ondervangen? 

Ons antwoord op deze vraag is dat twee van de drie onderdelen uit het PGB-landschap de 
verwachte groei kunnen ondervangen: de SSP-systemen en de portalen. De batchverwerking is 
naar ons oordeel onvoldoende schaalbaar. Zie onderstaande samenvatting: 


Onderdelen 

Schaalbaarheid 

Opmerkingen 

SSP-systemen 

Voldoende 

De huidige prestaties zijn voldoende. Er wordt een beperkte groei 

verwacht in de belasting. Er is onzekerheid ten aanzien van de groei 

van de dossiers (gegevensopslag en DMS) en de impact daarvan op de 

prestaties. 

Portalen 

Voldoende 

Ook hier zijn de huidige prestaties voldoende terwijl er een beperkte 

groei wordt verwacht. Doordat de performance continu wordt 

gemonitord kan SVB bij eventuele problemen proactief reageren. 

Batchverwerking 

Onvoldoende 

Hoewel de doorlooptijd van de export-batch sterk is teruggebracht 

(van 9 naar 3 uur) is er een aantal andere batchverwerkingen dat 

buiten de beschikbare doorlooptijd (nacht en/of weekend) loopt. 

Zonder adequate maatregelen zullen de maximale doorlooptijden in 

de toekomst naar onze verwachting nog toenemen. 


Hierbij maken we de volgende kanttekeningen: 

■ De eisen die zijn gesteld en praktijknormen die worden gehanteerd door SVB ten aanzien van 
performance, doorlooptijden en schaalbaarheid zijn op onderdelen aanwezig, maar onvolledig. 
Een objectief antwoord op de onderzoeksvraag kunnen we dus niet geven. 

■ Ons oordeel is gebaseerd op de beschikbare kentallen ten aanzien van de verwachte groei in de 
belasting van het landschap. M&l/Partners heeft geen doorvertaling aangetroffen naar 
kentallen voor de verwachte groei in dossiervorming (gegevensopslag en batchverwerkingen). 

■ Door gebrek aan performance/stresstesten en monitoring-faciliteiten hebben we ons deels op 
interviews moeten baseren. Hieruit komt geen eensluidend beeld naar voren, met name ten 
aanzien van de doorlooptijden van de batches. SVB is wel begonnen met het treffen van 
maatregelen op dit vlak. 


^ Sinds medio februari is een tijdelijke representatieve testomgeving ingericht, in afwachting van de 
structurele omgeving. 
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3.3 FLEXIBILITEIT (ONDERZOEKSVRAAG 1.3) 

De te beantwoorden onderzoeksvraag is: is het huidige systeemlandschap voldoende flexibel om de 
voorziene wijzigingen te kunnen realiseren? 

Ons antwoord op deze vraag is dat het huidige systeemlandschap in algemene zin beperkt flexibel 
is. De flexibiliteit ten aanzien van specifiek voorziene wijzigingen is niet goed te bepalen omdat veel 
van de geuite wensen onvoldoende concreet zijn. Er zijn wensen die potentieel veel impact 
hebben. Zie onderstaande samenvatting: 


Onderdeel 

Flexibiliteit 

Opmerkingen 

Wijzigbaarheid in 

algemene zin 

Twijfelachtig 

Er zijn diverse constructies in het systeemlandschap ontstaan die de 

wijzigbaarheid in algemene zin beperken. Het systeemlandschap is 

historisch gegroeid en niet onder architectuur ontwikkeld. 

Functionaliteit zit soms op meerdere plaatsen en er is een nauwe 

koppeling tussen Treks en de DBS-pakketten, waardoor wijzigingen in 

de één direct gevolgen hebben voor de ander. Het is niet goed 

voorspelbaar wat de impact van wijzigingen is op het totale landschap 

(risico van zij-effecten bij wijzigingen). Daarnaast is er een aanzienlijke 

technische schuld: Nestor is nog niet uitgefaseerd, er is beperkte 

unittestdekking^ er is onvoldoende architectuur- en 

ontwerpdocumentatie. SVB heeft beperkt controle op tempo en 

tijdstip van doorvoeren van de gewenste wijzigingen aan de pakketten 

DBS T&S en DBS Fin van Visma Software en het daarin door Visma 

gerealiseerde maatwerk. 

Geschiktheid voor 

voorziene 

wijzigingen 

Geen oordeel 

Er is een aantal wensen uit de keten (pre-CAB) die potentieel veel 

impact lijken te hebben op het huidige landschap. Voorbeelden: 

overlappende toekenningsbeschikkingen en het volledig doorvoeren 

van meerdere beschikkingen per wet. 


Hierbij maken we de volgende kanttekeningen: 

■ Veel van de geuite wensen en eisen zijn onvoldoende concreet. Het was en is daarmee 
onduidelijk op welke punten het systeem flexibel moe(s)t zijn. Flexibiliteit moet altijd worden 
beschouwd in de context van de voorziene wijzigingen. We hebben ook een aantal eisen van de 
ketenpartijen aangetroffen ten aanzien van variëteit die naar onze indruk grote impact hebben, 
erg risicovol zijn en wellicht overbodig zijn (in hun algemene formulering); hier moet nog eens 
goed naar gekeken worden. 

■ We hebben geen uitgewerkte impactanalyses aangetroffen voor de geuite wensen en eisen. 

■ Er zijn alleen principes opgesteld ten aanzien van flexibiliteit in algemene en abstracte zin. Er is 
geen concretisering van deze principes voor het huidige systeemlandschap en de eisen en 
wensen daaraan. 


2 Er wordt gewerkt aan het verbeteren van de dekking van de unittests. De functionele testdekking 
(systeem-, keten- en regressietestset) is reeds conform de gemaakte risico-inschatting voor de 
gerealiseerde of aangepaste functionaliteit. 
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4 CONCLUSIES 


De te beantwoorden hoofd-onderzoeksvroog is: is het huidige systeemlondschop een goede basis 
voor de toekomst? 

4.1 VOLDOENDE BASIS VOOR DE TOEKOMST? 

De conclusie van M&l/Partners is dat het huidige landschap nog geen voldoende basis is voor de 
toekomst. Met name de batchverwerkingen (robuustheid, schaalbaarheid) en de SSP-systemen 
(robuustheid) scoren op sommige onderzochte punten lager dan een voldoende. De flexibiliteit van 
het totale landschap is daarnaast twijfelachtig. 

Hierbij moet worden aangemerkt dat de in 2014 nieuw ontwikkelde software (Treks en portalen) 
wel degelijk een voldoende scoren op de onderzochte kwaliteitsaspecten. De lagere scores zijn 
veeleer een gevolg van de complexe samenhang van deze nieuwe onderdelen met de andere 
onderdelen in het landschap. 

We hechten er aan om te benadrukken dat de huidige problematiek in het PGB-proces niet 
gekwalificeerd mag worden als een technisch ICT-probleem. Er is in onze ogen veeleer sprake van 
een ketenprobleem (afstemming diverse partijen). Ook de functionele problematiek (die we niet 
hebben onderzocht) lijkt veel groter te zijn dat de technische problematiek ten aanzien van 
robuustheid die wij constateren in het huidige landschap. In essentie draait het huidige landschap 
naar behoren. Er zijn incidenten maar die leiden niet tot grote verstoringen van het proces. Ons 
oordeel ten aanzien van onvoldoende technische kwaliteit moet veeleer gezien worden in het licht 
van toekomstige wensen en eisen. Het landschap is niet klaar voor de toekomst. 

Ook willen we aanmerken dat veel geconstateerde problemen een gevolg zijn van de grote haast 
waarmee het PGB-landschap in 2014 is ontwikkeld. Hierbij zijn (terecht) korte-termijn oplossingen 
gekozen die vanuit architectuur-oogpunt niet optimaal zijn voor de toekomst. De observatie dat er 
in januari 2015 überhaupt een draaiend systeemlandschap was zien wij als een prestatie van 
belang. SVB heeft onderkend dat de huidige situatie niet optimaal is en denkt vanuit die optiek na 
over - en werkt aan - oplossingen. Of deze oplossingen adequaat de geconstateerde problemen 
ondervangen moet nader onderzocht worden. 

We tekenen hiernaast aan dat er naar ons oordeel onvoldoende inzicht is in de toekomst van het 
landschap, zowel qua functionaliteit als qua groei in de gegevensopslag. Zodra er meer inzicht is in 
de toekomst (rond de zomer, als het verbeterplan beschikbaar is) zou deze vraag nogmaals gesteld 
moeten worden. M&l/Partners concludeert dat het wel noodzakelijk is om het landschap verder te 
verstevigen, zie hierna. 

4.2 MAATREGELEN DIE OP KORTE TERMIJN NOODZAKELIJK ZIJN 

Op basis van onze analyses adviseren we om op korte termijn de volgende maatregelen te nemen. 
Merk op dat we bij dit advies nog geen oordeel hebben over de door SVB voorgestelde 
verstevigingen in het verstevigingsplan. Dit volgt in een later rapport. 

■ Voorspelbaarheid. Verbeter de testaanpak (testdekking unittests, automatisering van systeem- 
en regressietest, uitvoeren van performance-, load- en stresstest), de monitoring (performance/ 
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beschikbaarheid in productie) en de registratie (incidentenregistraties). Hiermee neem de 
huidige onzekerheid af; 

■ Technische schuld. Het landschap is bijvoorbeeld onvoldoende gedocumenteerd, bevat een 
systeem (Nestor) dat uitgefaseerd moet worden^ en er is een lage (unit)testdekking. Deze 
technische schuld is bewust genomen om de deadline van 1 januari te halen. Op termijn is het 
niet inlossen van de schuld een belangrijke blokkade voor de dóórontwikkeling. We adviseren er 
nu mee te beginnen; 

■ Robuustheid infrastructuur. We adviseren een gedegen afweging te maken tussen de gewenste 
beschikbaarheid van het systeemlandschap en acceptabele risico's daarbij enerzijds en de 
(hoge) kosten van mogelijke aanvullende maatregelen om bijvoorbeeld de infrastructuur 
redundant uit te voeren anderzijds; 

■ Batchverwerking. Die scoort op alle onderzochte eigenschappen een onvoldoende. We 
adviseren de fouttolerantie van individuele batchverwerkingen en van het samenstel aan 
batchverwerkingen als geheel nader te onderzoeken en verbeteren; 

■ SSP-systemen. De robuustheid van de SSP-systemen moet worden verbeterd door een aantal 
kwetsbaarheden nader te analyseren: de virtualisatie-infrastructuur voor medewerkers buiten 
Utrecht, de (negatieve) gevolgen van uitlopende batchverwerkingen en de invloed van 
onderhoudswerkzaamheden (met name bij DBS); 

■ Portalen. Hoewel de portalen voldoende scoren adviseren we om de fouttolerantie ten aanzien 
van uitlopende batchverwerkingen te verhogen. Dit om het risico van negatieve publiciteit te 
verminderen. 

Op een aantal van de genoemde terreinen is SVB al begonnen met het treffen van maatregelen. 

Nader onderzoek moet uitwijzen of dit onze voorstellen afdoende afdekt. 


^ Uitfaseren van Nestor is opgenomen in de sprintplanning. Het is M&l/Partners onbekend of er 
voldoende zicht is op nut of noodzaak van de nu door Nestor gerealiseerde restfunctionaliteit. 
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5 UITGEVOERDE ANALYSES 


In de rest van dit document vatten we de resultaten samen van de analyses die M&l/Partners heeft 
uitgevoerd. Nadat we een algemene indruk gegeven van het huidige PGB-systeemlandschap (sectie 
5.1) formuleren we ons expertoordeel ten aanzien van robuustheid (5.2), schaalbaarheid (5.3) en 
flexibiliteit (5.4). Deze analyses zijn gebaseerd op de gedetailleerde bevindingen die in de 
bevindingenrapportage zijn opgenomen. 

5.1 ALGEMENE INDRUK VAN HET HUIDIGE PGB-LANDSCHAP 

In deze sectie geven we eerst onze algemene indruk van het huidige systeemlandschap. 

5.1.1 Inzicht verkrijgen in het huidige PGB-systeemlandschap 

We hebben uitstekende medewerking gekregen van SVB bij de uitvoering van ons onderzoek. 
Medewerkers waren snel beschikbaar voor interviews en waren ook zeer open in hun antwoorden. 
Ook opgevraagde documentatie kwam over het algemeen snel in ons bezit. Alleen ten aanzien van 
de DSB-applicaties hebben we bij het ter perse gaan van deze eerste deelrapportage onvoldoende 
informatie kunnen verkrijgen en wordt in het review commentaar veelvuldig verwezen naar 
documentatie die niet (ondanks herhaald verzoek) ter beschikking is gesteld. SVB is wederom 
gevraagd deze rapportages te leveren. 

Ondanks deze goede medewerking heeft het relatief lang geduurd voordat M&l/Partners inzicht 
kreeg in het huidige systeemlandschap. We hebben geen documenten of visualisaties aangetroffen 
die de actuele situatie adequaat weergeven. Het oordeel van M&l/Partners is dat het huidige 
systeemlandschap onvoldoende gedocumenteerd is en dat kennis erover verspreid is binnen de 
SVB-organisatie (en in de hoofden zit van medewerkers). Er is alleen fragmentarische 
projectdocumentatie beschikbaar, maar geen samengestelde systeemdocumentatie (architectuur- 
en ontwerpdocumentatie). Dit heeft niet alleen ons onderzoek bemoeilijkt, maar zorgt er ook voor 
dat het onderhouden en beheren van het systeemlandschap moeilijker is dan noodzakelijk. 

5.1.2 Kwalificatie van het huidige PGB-systeemlandschap 

Onze interpretatie van het systeemlandschap is weergegeven in nevenstaande figuur. 
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■ gegevens worden vastgelegd in de SSP-systemen; 

■ de gegevens worden 's nachts met batchverwerking vanuit de SSP-systemen naar de 
gegevensopslag bij de portalen overgezet. De gegevensstructuur van deze opslag verschilt met 
die in de SSP-systemen; 

■ er is een aanzienlijke technische schuld: documentatie is niet op orde, testdekking van de 
geautomatiseerde unittests loopt achter, er is duplicatie (zowel in batches als in portaal), 
Nestor-delen zijn nog actief. 

5.2 ROBUUSTHEID (ONDERZOEKSVRAAG 1.1) 

Te beantwoorden onderzoeksvraag: is het huidige systeemlandschap voldoende robuust om zonder 
grote verstoringen te kunnen functioneren? 

5.2.1 Betekenis van het begrip 'robuustheid' 

Robuustheid is een vaag en veelomvattend begrip. M&l/Partners maakt gebruik van IS025010 om 
dit begrip te definiëren. Binnen IS025010 wordt robuustheid (betrouwbaarheid) gedefinieerd als 
'de mate waarin een systeem, product of component gespecificeerde functies uitvoert onder 
gespecificeerde condities gedurende een gespecificeerde hoeveelheid tijd'. Dit begrip wordt door 
IS025010 onderverdeeld in drie eigenschappen die we hebben onderzocht: 


Eigenschap 

Definitie 

Maturity 

(Volwassenheid) 

De mate waarin een systeem, product of component aan betrouwbaarheidsbehoeften 

voldoet onder normale werkomstandigheden 

Fault tolerance 

(Fouttolerantie) 

De mate waarin een systeem, product of component werkt zoals bedoeld ondanks de 

aanwezigheid van hard- of softwarefouten 

Availability 

(Beschikbaarheid) 

De mate waarin een systeem, product of component operationeel en toegankelijk is 

wanneer men het wil gebruiken 


5.2.2 Gestelde eisen aan de robuustheid van het systeemlandschap 

M&l/Partners heeft geen concrete eisen aangetroffen ten aanzien van bovenstaande 
eigenschappen. Noch in requirements-documenten of SLA-afspraken, noch in architectuurkaders 
zijn hier eisen aan gesteld. We kunnen dus geen objectief antwoord geven op de vraag of het 
systeemlandschap 'voldoende robuust' is. 

5.2.3 Basis voor ons expertoordeel 

We hebben relatief weinig feitelijk materiaal aangetroffen om ons oordeel op te baseren. Er zijn 
fragmentarische overzichten en analyses aangetroffen van daadwerkelijke verstoringen en 
beschikbaarheidsmetingen. Ook ontbreken er geautomatiseerde hulpmiddelen voor het uitvoeren 
van systeem- en regressietesten (er zijn wel gedocumenteerde, herhaalbare functionele testscripts 
aangetroffen die handmatig worden uitgevoerd) en zijn er geen geautomatiseerde hulpmiddelen 
en een representatieve testomgeving voor het uitvoeren van stress- en loadtesten. Bij het 
formuleren van ons oordeel hebben we ons gebaseerd op deze fragmentarisch beschikbare 
waarnemingen aangevuld met gedane observaties tijdens de interviews. 

5.2.4 Expertoordeel - robuustheid van de SSP-systemen 

De onderzoeksvraag hebben we apart beschouwd voor de portalen, de batchverwerkingen en de 
systemen voor SSP-medewerkers. In deze sectie beschouwen we de robuustheid van de systemen 
voor SSP-medewerkers (Treks, Nestor, DBS T&S, DBS Fin). 
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■ de SSP-medewerkers percipiëren de robuustheid van de applicatie Treks zelf als voldoende; na 
diverse kinderziektes in januari is er een dalende trend ingezet in problemen; 

■ de SSP-systemen zijn kwetsbaar voor problemen in de infrastructuur, wat in de maanden 
februari en maart geleid heeft tot diverse verstoringen. Ook onderhoudswerkzaamheden en 
doorlopende batchverwerkingen hebben enkele keren geleid tot verminderde prestaties geleid; 

■ de structuur van het landschap (duplicatie in bijvoorbeeld code en controlefunctionaliteit, 
afhankelijkheid Treks van DBS T&S) en de inrichting van het ontwikkel-/ releaseproces (veel 
handmatige acties bij releases van de DBS-pakketten) zijn op een paar plaatsen foutgevoelig. Dit 
heeft vooralsnog niet geleid tot daadwerkelijke verstoringen in productie; 

■ applicaties en servercomponenten zijn over het algemeen niet redundant uitgevoerd. Bij 
grootschalige verstoringen is herstel van de dienstverlening dus afhankelijk van herstel van de 
falende component of van overschakelen naar uitwijkvoorzieningen (kan tot 48 uur duren). 
Tijdelijk (nieuwe hardware is reeds geleverd) is geen uitwijkvoorziening beschikbaar voor de 
Treks/Nestor en DBS databases - deze hardware wordt ingezet als aanvullende capaciteit van 
de productieomgeving. 

Hiermee beoordelen we de robuustheid van de SSP-systemen als twijfelachtig. Er zijn diverse 
daadwerkelijke verstoringen geweest in de maanden februari en maart en er zijn diverse 
constructies aangetroffen die de kans op het optreden van verstoringen verhogen. Het risico voor 
de SSP-operatie is relatief hoog. 

5.2.5 Expertoordeel - robuustheid van de portalen 

Hier beschouwen we de robuustheid van de portalen (MijnPGB, MijnWMO, MijnZK). 

■ de beschikbaarheid van MijnPGB en MijnZK ligt in de laatste 5 weken op 99% en 97%. De initiële 
problemen in januari zijn verholpen door het bijschakelen van hardware en het optimaliseren 
van de gegevenstoegang. Voor MijnWMO zijn er geen cijfers; 

■ als er batchverwerkingen falen bestaat de kans dat de portalen geen actuele informatie hebben. 
Dat kan ook informatie betreffen over bijvoorbeeld de status van overeenkomsten: gemeenten 
zien op het portaal een reeds geaccordeerde overeenkomsten nog steeds als niet- 
geaccordeerd. Dit is een voorbeeld van gebrek aan fouttolerantie; 

■ de structuur van het systeemlandschap (duplicatie) is op een paar plaatsen foutgevoelig. Dit 
heeft vooralsnog niet geleid tot daadwerkelijke verstoringen in productie; 

■ de infrastructuur voor de portalen is niet redundant uitgevoerd. Bij grootschalige verstoringen is 
herstel van de dienstverlening dus afhankelijk van herstel van de falende component of van 
overschakelen naar uitwijkvoorzieningen (kan tot 48 uur duren). 

Hiermee beoordelen we de portalen als voldoende robuust. Er is een beperkt aantal constructies 
aangetroffen die de kans op verstoringen verhogen; maar de daadwerkelijke beschikbaarheid lijkt 
op dit moment in orde. In ons oordeel wegen we mee dat impact en externe zichtbaarheid hoog is 
bij van verstoringen in een portaal. 

5.2.6 Expertoordeel - robuustheid van de batchverwerkingen 

Hier beschouwen we de robuustheid van de batchverwerkingen. 

■ de batchverwerkingen falen enkele keren per maand. De impact hiervan is hoog: Treks biedt 
verminderde prestaties en er kan verouderde/ misleidende informatie op de portalen worden 
getoond; 
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■ de fouttolerantie van de batchverwerkingen is beperkt. Niet alle batchverwerkingen kunnen 
omgaan met een verwerkingsfout in één record (bijvoorbeeld één budgethouder), wat kan 
leiden tot uitval van de gehele batch. Door de onderlinge volgordelijkheid van 
batchverwerkingen en de doorlooptijd ervan kan één fout snel leiden tot verwerkingen die 
langer duren dan de beschikbare doorlooptijd (nacht en/of weekend) en/of (in het geval van de 
exportbatch) het niet actualiseren van de gegevens in de portalen; 

■ de structuur van het systeemlandschap (duplicatie) is op een paar plaatsen foutgevoelig. Dit 
heeft vooralsnog niet geleid tot daadwerkelijke verstoringen in productie. 

Hiermee beoordelen we de batchverwerkingen als onvoldoende robuust. De fouttolerantie is 
onvoldoende; dit leidt ook in de praktijk tot verstoringen van de SSP-systemen en verouderde 
informatie op de portalen. 

5.3 SCHAALBAARHEID (ONDERZOEKSVRAAG 1.2) 

Te beantwoorden onderzoeksvraag: kan met het huidige systeemlandschap de verwachte groei 
worden ondervangen? 

5.3.1 Betekenis van het begrip 'schaalbaarheid' 

Binnen IS025010 is het begrip schaalbaarheid niet expliciet opgenomen; schaalbaarheid wordt hier 
meestal uitgedrukt in termen van de eigenschap 'prestatie efficiency'. Dit begrip wordt 
onderverdeeld in de volgende eigenschappen: 


Eigenschap 

Definitie 

Time behaviour 

(snelheid) 

De mate waarin antwoord- en verwerkingstijden en doorvoersnelheid van een 

product of systeem, tijdens de uitvoer van zijn functies, voldoet aan de wensen. 

Resource utilization 

(middelenbeslag) 

De mate waarin de hoeveelheid en type middelen die gebruikt worden door een 

product of systeem, tijdens de uitvoer van zijn functies, voldoet aan de wensen. 


5.3.2 Gestelde eisen aan de schaalbaarheid van het systeemlandschap 

M&l/Partners heeft geen expliciete eisen aangetroffen ten aanzien van snelheid en 
middelenbeslag. Alleen voor Treks is gesteld dat de response tijden minimaal hetzelfde moeten zijn 
als bij Nestor. Daarnaast wordt voor het monitoren van de responsetijden van de portalen in de 
praktijk gewerkt met een gemiddelde responsetijd van 1,5 seconde. Uitgaande van een keten van 
vier transacties voor MijnZK, geeft dat een maximum van 6 seconden. De doorlooptijd van de 
batches is beperkt door het maximale window van 12 uur (10 uur bij overwerk) dat 's-nachts 
beschikbaar is. 

Er zijn wel duidelijke kentallen beschikbaar voor de verwachte groei in de belasting van het 
systeemlandschap. Daaruit blijkt dat er geen groei meer wordt verwacht in het aantal 
budgethouders en een beperkte groei in het aantal declaraties/facturen en zorgovereenkomsten 
dat verwerkt moet worden. Er wordt een daling verwacht in het aantal SSP-medewerkers en in het 
aantal vragen van budgethouders. Onduidelijk is of er nog speciale piekmomenten te verwachten 
zijn rond incidentele werkzaamheden, zoals misschien een jaarafsluiting. Ten aanzien van de groei 
van de omvang van de dossiers (en gevolgen voor de gegevensopslag en batchverwerking) zijn 
geen kentallen beschikbaar. 
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5.3.3 Basis voor ons expertoordeel 

We hebben relatief weinig feitelijk materiaal aangetroffen om ons oordeel op te baseren. Stress¬ 
en loadtesten worden niet structureel en/of geautomatiseerd uitgevoerd; er loopt wel een proof- 
of-concept naar tooling hiervoor. Alleen voor de doorlooptijd van de export-batch zijn simulaties 
uitgevoerd. Van de portalen zijn performance-metingen in productie beschikbaar; van de SSP- 
systemen en de batches niet of beperkt. Wel hebben we email-discussies van opgetreden 
incidenten beschikbaar. Bij het formuleren van ons oordeel hebben we ons gebaseerd op deze 
beperkte waarnemingen aangevuld met gedane observaties tijdens de interviews. 

5.3.4 Expertoordeel - schaalbaarheid van de SSP-systemen 

Eerst beschouwen we de performance en schaalbaarheid van de systemen voor SSP-medewerkers. 

■ huidige snelheid: er zijn weinig klachten over de responsetijden van de SSP-systemen, met 
uitzondering van de momenten waarop batchverwerkingen uitlopen. Er zijn geen 
waarnemingen uit monitoring beschikbaar^. Hier doen we de aanname dat de performance 
afdoende is; 

■ verwachte snelheid na groei: de responsetijden van de SSP-systemen blijven naar onze 
verwachting op orde; er wordt nauwelijks groei verwacht (eerder een daling in de belasting). 
Hierin zit een onzekerheid ten aanzien van de verwachte groei van de gegevensopslag, die is 
onbekend; 

■ voorspelbaarheid: SVB heeft geen maatregelen getroffen (stress testen, monitoring in 
productie) om problemen te voorspellen of proactief te kunnen reageren als er 
performanceproblemen ontstaan. 

Hiermee beoordelen we de schaalbaarheid van de SSP-systemen als voldoende, met de opmerking 
dat er onzekerheid is. 

5.3.5 Expertoordeel - schaalbaarheid van de portalen 

Hier beschouwen we de schaalbaarheid van de portalen (MijnPGB, MijnWMO, MijnZK). 

■ huidige snelheid: de huidige responstijden van de portalen liggen (na aanpassing van de server 
hardware en optimalisatie van de gegevenstoegang) onder de gehanteerde normen van 6 
seconden maximaal. Deze praktijknorm is gebaseerd op keten van vier transacties voor MijnZK; 
uitgaande van een gemiddelde responsetijd van 1,5 seconde voor een transactie geeft dat een 
maximum van 6 seconden. 

■ verwachte snelheid na groei: de responsetijden van de portalen blijven naar onze verwachting 
op orde; er wordt nauwelijks groei verwacht. Hierin zit een onzekerheid ten aanzien van de 
verwachte groei van de gegevensopslag, die is onbekend; 

■ voorspelbaarheid: SVB heeft maatregelen getroffen (monitoring in productie) om proactief te 
kunnen reageren als er performance problemen ontstaan. Er zijn geen maatregelen getroffen 
(zoals stress- en loadtests) om performance te kunnen voorspellen. 

Hiermee beoordelen we de schaalbaarheid van de portalen als voldoende. Met de opmerking dat 
er onzekerheid is. 


^ De voor Treks uitgevoerde performancetesten, uitgevoerd voor use cases met ingeschat 
performancerisico ''Hoog" , geven aan dat Treks sneller is dan Nestor. Treks voldoet daarmee aan de 
door SVB bij gebrek aan concrete eisen gehanteerde praktijknorm. 
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5.3.6 Expertoordeel - schaalbaarheid van de batchverwerking 

Hier beschouwen we de robuustheid van de batchverwerkingen. 

■ huidige doorlooptijd: in diverse interviews wordt aangegeven dat de doorlooptijd van de 
exportbatches is teruggebracht van 9 uur tot 3 uur. De verlonings- en boekhoudbatches zijn in 
de nacht van 11-12 maart ruim uit het beschikbare window van 12 uur (10 uur bij overwerk) 
gelopen en ook eerder zijn er problemen geweeste We beoordelen de huidige doorlooptijd - 
zeker van het samenstel aan batchverwerkingen - als onvoldoende; 

■ verwachte doorlooptijd na groei: uit simulaties van SVB blijkt dat de doorlooptijd van 
exportbatches na verwachte groei in 2015 rond de 3,5 uur zit. Voor andere batchverwerkingen 
zijn geen simulaties beschikbaar; 

■ voorspelbaarheid: hoewel er door SVB getest/gesimuleerd wordt beoordelen we de 
voorspelbaarheid als onvoldoende; er zijn te grote onzekerheden in de doorlooptijden van de 
batches. 

Hiermee beoordelen we de schaalbaarheid van de batchverwerkingen als onvoldoende. Hoewel er 
positieve prestaties worden gemeld (van 9 naar 3 uur) moeten we constateren dat het beschikbare 
window van 12 uur (10 uur bij overwerk) regelmatig niet wordt gehaald. Het is nauwelijks te 
voorspellen hoe dit in de toekomst zal zijn, maar zonder maatregelen verwachten we extra 
problemen. 

5.4 FLEXIBILITEIT (ONDERZOEKSVRAAG 1.3) 

Te beantwoorden onderzoeksvraag: is het huidige systeemlandschap voldoende flexibel om de 
voorziene wijzigingen te kunnen realiseren? 

5.4.1 Betekenis van het begrip 'flexibiliteit' 

Binnen IS025010 is het begrip flexibiliteit niet expliciet opgenomen; flexibiliteit wordt meestal 
uitgedrukt in de volgende termen: 


Eigenschap 

Definitie 

Analysability 

(Analyseerbaarheid) 

De mate waarin het mogelijk is om effectief en efficiënt de impact, van een geplande 

verandering van één of meer onderdelen, op een product of systeem te beoordelen, 

om afwijkingen en/of foutoorzaken van een product vast te stellen of om onderdelen 

te identificeren die gewijzigd moeten worden. 

Modifiability 

(Wijzigbaarheid) 

De mate waarin een product of systeem effectief en efficiënt gewijzigd kan worden 

zonder fouten of kwaliteitsvermindering tot gevolg. 


5.4.2 Gestelde eisen aan de flexibiliteit van het systeemlandschap 

Alleen in het Integraal Ontwerp en Solution Design (de basis voor het verstevigingsplan) staat het 
begrip flexibiliteit in abstracte termen toegelicht. Daar gaat het over het kunnen configureren van 
processen en regels, de 'loose coupling' van componenten en het éénmalig realiseren van 
functionaliteit. Verdere eisen hebben we niet aangetroffen. 


^ Aanpassen van de functionaliteit en performance van de boekhoudbatch is opgenomen in de 
sprintplanning. 


Rapport Eerste deelrapportage Contra-expertise op plan technische versteviging Versie 1.4 / 22 april 2015 













M&I/Partners/ 


19/21 


Er bestaat geen absolute maat voor flexibiliteit. Flexibiliteit moet altijd worden beschouwd in het 
licht van voorziene wijzigingen. M&l/Partners heeft diverse bronnen voor wijzigingen aangetroffen: 
functionele wijzigingen van de ketenpartners, functionele wijzigingen vanuit de SSP- 
werkprocessen, een lijst met in te lossen 'technische schuld' en de verstevigingsvoorstellen uit het 
verstevigingsplan. Er ontbreekt in onze ogen een integraal beeld over deze vier bronnen. Ook zijn 
de voorziene wijzigingen onvoldoende geconcretiseerd en geprioriteerd. Alleen voor de korte 
termijn hebben we inzicht verkregen in de prioriteiten die door de pre-CAB (gemeenten, 
zorgverzekeraars en belangenvereniging PerSaldo) zijn gesteld. Als gevolg hiervan kunnen we geen 
volledig objectief antwoord geven op de onderzoeksvraag. 

5.4.3 Basis voor ons expertoordeel 

M&l/Partners heeft geen uitgewerkte, eenduidige impact analyses aangetroffen van de voorziene 
wijzigingen (voor geen van de vier aangetroffen bronnen, zie vorige pagina). Bij het formuleren van 
ons expertoordeel hebben we ons vooral gericht op het analyseren van 'bottlenecks' in het 
systeemlandschap die in algemene zin de analyseerbaarheid en wijzigbaarheid beperken. 

5.4.4 Expertoordeel - flexibiliteit in algemene zin 

Er zijn diverse constructies die de wijzigbaarheid in algemene zin beperken: 

■ in de DBS-pakketten is veel maatwerk gerealiseerd door leverancier Visma; SVB heeft hier 
nauwelijks controle over; 

■ door de nauwe integratie tussen Treks en DBS zullen wijzigingen vaak op twee plekken impact 
hebben. Ook als de structuur wordt aangepast van gegevens die zowel in Treks als DBS 
vastliggen, leidt dat tot wijzigingen op twee plekken; 

■ de aanwezigheid van Nestor (naast Treks) bemoeilijkt de wijzigbaarheid (maar de 
functionaliteiten zijn wel complementair aan elkaar); 

■ technische schuld. Door ontbrekende architectuur- en ontwerpdocumentatie, doublures in 
functionaliteit en onvoldoende testmogelijkheden is het over het algemeen moeilijk om 
wijzigingen gecontroleerd door te voeren. Voorbeelden zijn: 

- de code van MijnZK is gekopieerd van MijnWMO. Er heeft nog geen refactoring 
plaatsgevonden om gelijke code op één plek te realiseren of niet toepasselijke code te 
verwijderen. Ook moeten nog andere (kleine) wijzigingen doorgevoerd worden, zoals het 
ombouwen van een klein aantal schermen naar spring web flow, of het overhalen van inline 
styling vanuit een aantal pagina's naar de centrale locatie van de styling; 

- een deel van de batchverwerkingen maakt voor controles gebruik van de codebase van 
Treks. Een deel doet dat nog niet, waardoor dezelfde controles op verschillende plekken 
uitgeprogrammeerd zijn; 

- een beperkte unittestdekking en het ontbreken van geautomatiseerde ondersteuning voor 
systeem- en regressietest beperken de voorspelbaarheid van de impact van wijzigingen op 
het totale landschap^. 

We beoordelen de flexibiliteit van het systeemlandschap in algemene zin als twijfelachtig. 

5.4.5 Expertoordeel - flexibiliteit in de context van specifieke wijzigingen 


^ Er wordt gewerkt aan het verbeteren van de dekking van de unittests. De functionele testdekking 
(systeem-, keten- en regressietestset) is reeds conform de gemaakte risico-inschatting voor de 
gerealiseerde of aangepaste functionaliteit. 
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Een aantal wijzigingen die de pre-CAB op korte termijn door wil laten voeren heeft mogelijk grote 
impact: uitgaand berichtenverkeer, omgaan met meerdere beschikkingen per wet, omgaan met 
overlappende beschikkingen en het kunnen variëren van de geboden proceskeuzes per periode, 
per wet en per functie. 

De flexibiliteit voor dergelijke voorziene wijzigingen is niet goed te bepalen omdat veel van de 
geuite wensen onvoldoende concreet zijn en/of een gedetailleerde impactanalyse ontbreekt. Het 
was en is onvoldoende duidelijk op welke punten het systeem flexibel moe(s)t zijn. Flexibiliteit 
moet altijd worden beschouwd in de context van de voorziene wijzigingen. Het realiseren van 
generieke informatievoorziening die bestand is tegen wijzigingen in het algemeen is bewezen 
complex, duur en risicovol. 


Rapport Eerste deelrapportage Contra-expertise op plan technische versteviging Versie 1.4 / 22 april 2015 


M&I/Partners/ 


21/21 


BIJLAGE 1 VERWERKING NALEVERING 


Bij review van de conceptversie van de eerste deelrapportage heeft SVB aangegeven dat 
aanvullend materiaal beschikbaar is. Dit materiaal is ontvangen na het definitief maken van de 
eerste deelrapportage. Deze bijlage beschrijft de aard van de aanvullend ontvangen informatie en 
geeft aan in hoeverre M&l/Partners de nieuwe informatie aanleiding vindt de beantwoording van 
de eerste onderzoeksvraag bij te stellen. 

1.1 AARD AANVULLEND ONTVANGEN INFORMATIE 

De aanvullend ontvangen informatie bestaat grofweg uit: 

■ Ontwerpdocumentatie. Naast een al eerder ontvangen document met een (summiere) uitleg 
over een aantal IT-architectuuraspecten van Treks, heeft M&l/Partners een functioneel ontwerp 
ontvangen (use case documentatie voor Nestor) en een conceptueel/logisch gegevensmodel. 

■ Testdocumentatie. M&l/Partners heeft het mastertestplan en detailtestplan performance voor 
PGB 10 (herbouw Nestor in Treks) ontvangen. 

■ Incident- en beheerrapportages. M&l/Partners heeft een SLA over 2014 ontvangen, alsmede 
verschillende aanvullende overzichten van klachten, meldingen en incidenten ten aanzien van 
het systeemlandschap zoals vastgelegd in Assyst (het gebruikte tooi voor incidentregistratie), 
van doorlooptijden van een tweetal batchverwerkingen, van performancekarakteristieken van 
de portalen en de gegevensopslag onder Treks en van oplospercentages/-tijden. 

1.2 INVLOED OP BEANTWOORDING EERSTE ONDERZOEKSVRAAG 

De aanvullend ontvangen ontwerp- en testdocumentatie heeft geen invloed op de beantwoording 
van de eerste onderzoeksvraag door M&l/Partners. Naar aanleiding van het van SVB ontvangen 
reviewcommentaar heeft M&l/Partners enkele bevindingen en observaties in de definitieve versie 
van de eerste deelrapportage met betrekking tot testen genuanceerd - de aanvullend ontvangen 
testdocumenten vragen geen verdere aanpassing. De ontvangen use-casedocumenten en logisch 
gegevensmodel veranderen het oordeel van M&l/Partners dat er onvoldoende architectuur- en 
ontwerpdocumentatie is niet. 

Ook de aanvullend ontvangen incident- en beheerrapportages hebben geen invloed op de 
beantwoording van de eerste onderzoeksvraag door M&l/Partners. Uit de verschillende 
overzichten uit Assyst kan M&l/Partners niet een integraal overzicht verkrijgen over de technische 
problemen waar - zo blijkt uit meerdere interviews - het systeemlandschap diverse malen hinder 
van heeft ondervonden. Bijvoorbeeld de gevallen waarbij grote groepen SSP-medewerkers Treks 
niet of beperkt konden gebruiken laten zich niet (eenvoudig) afleiden uit de registratie^ van 
individuele klachten of incidenten. Dit maakt dat M&l/Partners van oordeel blijft dat alleen 
fragmentarische informatie beschikbaar is over de daadwerkelijke robuustheid van het 
systeemlandschap. 


^ Dit hoeft overigens niet per se aan de registratie zelf te liggen; ook de wijze van (al dan niet) melden 
van incidenten kan hierop van invloed zijn. 
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